- Markow-Prozess
- Markow-Kette
* * *
Mạrkow-Prozess[nach A. A. Markow], Wahrscheinlichkeitstheorie: spezieller stochastischer Prozess, für dessen Verhalten in der Zukunft lediglich die Werte in der Gegenwart, nicht aber in der Vergangenheit eine Rolle spielen. Nimmt der Markow-Prozess nur endlich viele oder abzählbar unendlich viele Werte an, so spricht man von einer Markow-Kette. Bei ihr ist die bedingte Wahrscheinlichkeit eines bestimmten Zustandes zum Zeitpunkt t > tm, wenn die Zustände zu den Zeitpunkten t0 < t1 <. .. < tm bekannt sind, gleich der bedingten Wahrscheinlichkeit des Zustandes zum Zeitpunkt t > tm, wenn nur der Zustand zum Zeitpunkt tm bekannt ist. Die Markow-Kette heißt stationär, falls die bedingte Wahrscheinlichkeit pij dafür, dass die Kette zur Zeit t + 1 im Zustand j ist (unter der Bedingung, dass sie zur Zeit t im Zustand i war), von t unabhängig ist (t ∈ ℕ). Alle Eigenschaften dieser besonders wichtigen Markow-Ketten sind durch die so genannte Übergangsmatrix mit den Elementen pij bestimmt.Bei Markow-Prozessen mit Werten in ℝn spielt die Verteilung des Zustandes zur Zeit t, unter der Bedingung, dass sich der Prozess zur Zeit s < t im Zustand x befand, eine zentrale Rolle. Hat diese Verteilung eine Dichte, so heißt sie Übergangsdichte des Markow-Prozesses. In der Theorie der markowschen Entscheidungsprozesse werden Markow-Prozesse so gesteuert, dass gewisse durch den Prozessverlauf bestimmte Kosten im Mittel minimal werden. (Markow-Modelle)L. Fahrmeir u. a.: Stochast. Prozesse (1981).
Universal-Lexikon. 2012.
